Tư Mã Thượng Chi thuộc dòng dõi tông thất nhà Tấn. Tổ tiên của ông là Tư Mã Tốn, họ hàng xa với Tấn Vũ Đế Tư Mã Viêm, vua đầu tiên của nhà Tấn. Tư Mã Tốn nhận tước hiệu Tiều vương từ ngay sau khi Tấn triều thành lập (265), khi mất được truy tặng thụy là Cương vương. Cương vương truyền ngôi cho Định vương Tư Mã Tùy, Tùy truyền ngôi cho con là Tư Mã Thúy thì tuyệt tự. Triều đình lại phong cho con thứ của Tư Mã Tốn là Tư Mã Thừa làm Tiều vương, thụy là Mẫn. Thừa sinh ra Liệt vương Tư Mã Vô Kị, Vô Kị sinh ra Kính vương Tư Mã Điềm, giữ tước vương 40 năm (351 - 390), Điềm sinh ra Tư Mã Thượng Chi.